Trong thời cầm quyền của mình, Andropov đã nỗ lực cải thiện nền kinh tế bằng cách tăng hiệu quả quản lý mà không thay đổi các nguyên tắc của kinh tế xã hội chủ nghĩa. Trái với chính sách tránh xung đột và gạt bỏ của Brezhnev, ông bắt đầu đấu tranh chống lại những sai phạm trong nguyên tắc đảng, nhà nước và lao động, dẫn tới những thay đổi nhân sự lớn. Trong 15 tháng cầm quyền, Andropov đã loại bỏ 18 bộ trưởng, 37 Bí thư thứ nhất của các Tỉnh ủy (Областной комитет - ОБКОМ), Khu ủy (Краевой комитет - КРАЙКОМ) và Ủy ban Trung ương các Đảng Cộng sản tại các nước Cộng hoà Xô viết; những hồ sơ tội phạm ở những cấp bậc cao nhất của nhà nước bắt đầu bị xem xét. Lần đầu tiên, những thực tế về sự trì trệ kinh tế và những cản trở với sự phát triển khoa học được thông báo với công chúng và bị chỉ trích.[10]

Trong chính sách đối ngoại, chiến tranh tiếp diễn tại Afghanistan. Thời gian cầm quyền của Andropov cũng được ghi dấu bởi sự xấu đi trong quan hệ với Hoa Kỳ. Những kế hoạch của Mỹ nhằm triển khai tên lửa Pershing ở Tây Âu nhằm đối phó các tên lửa SS-20 của Liên xô là vấn đề hay gây tranh cãi. Nhưng khi Paul Nitze, nhà đàm phán Mỹ, đề xuất một kế hoạch hoà giải cho những tên lửa hạt nhân tại châu Âu trong cuộc "đi bộ trong rừng" với nhà đàm phán Liên Xô Yuli Kvitsinsky, người Liên Xô không bao giờ trả lời.[11] Kvitsinsky sau này viết rằng, dù có những nỗ lực của riêng ông, phía Liên Xô không chú ý tới sự hoà giải, thay vào đó tính toán rằng các phong trào hoà bình ở phương Tây sẽ buộc người Mỹ phải nhượng bộ.[12] Tháng 8 năm 1983 Andropov đưa ra một thông báo gây xúc động rằng đất nước đã ngừng mọi công việc về các loại vũ khí trên vũ trụ. Một trong những hành động đáng chú ý nhất của ông trong thời gian ngắn làm lãnh đạo Liên Xô là viết thư trả lời một cô bé người Mỹ tên là Samantha Smith, mời cô bé tới Liên bang Xô viết. Kết quả là Smith trở thành một nhà hoạt động vì hoà bình nổi tiếng. Trong lúc ấy những cuộc đàm phán về kiểm soát các loại vũ khí hạt nhân tầm trung ở châu Âu giữa Liên bang Xô viết và Hoa Kỳ đã bị gián đoạn từ phía Liên Xô tháng 11 năm 1983 và tới cuối năm 1983, người Liên xô đã ngừng mọi cuộc đàm phán kiểm soát vũ khí.[13]

Căng thẳng thời Chiến tranh Lạnh gia tăng khi các máy bay chiến đấu Liên xô bắn hạ một chiếc máy bay phản lực chở khách, chuyến bay 007 của Korean Air Lines với toàn bộ 269 hành khách và phi hành đoàn, gồm cả một dân biểu từ Georgia, Larry McDonald. KAL 007 đã lạc vào không phận Liên xô ngày 1 tháng 9 năm 1983 trên đường từ Anchorage, Alaska tới Seoul, Hàn Quốc. Andropov đã được Bộ trưởng quốc phòng Dmitri Ustinov và lãnh đạo KGB Victor Chebrikov cố vấn giữ bí mật thực tế rằng Liên Xô đã giữ được "Hộp Đen" từ chiếc KAL 007. Andropov được khuyến khích phát biểu rằng Liên xô tham gia vào sự lừa gạt đó và họ cũng đang tìm kiếm chiếc KAL 007 và Hộp Đen. Andropov đồng ý với điều này và trò bịp đó kéo dài tới khi Boris Yeltsin giải mật vụ việc năm 1992.[14]

Khi không còn có thể làm việc trong điện Kremlin hay tham dự các phiên họp của Bộ chính trị, từ tháng 9 năm 1983, ông theo cách điều hành cũ: ông sẽ đưa ra các ý tưởng cho những trợ lý và người viết diễn văn, sau đó họ sẽ chuẩn bị các 'ghi chú' cho Bộ chính trị.

Vào ngày thứ 7 trước phiên họp toàn thể ngày thứ ba của Uỷ ban Trung ương, Arkady Volsky, một trợ lý của Andropov, vào phòng của Andropov tại Bệnh viện Trung ương ở Kuntsevo để giúp ông soạn thảo một bài diễn văn. Andropov không đủ sức khoẻ dự phiên họp toàn thể và sẽ cử một người thay mặt đọc diễn văn tại Bộ chính trị. Những dòng cuối cùng của bài diễn văn nói rằng các thành viên của Uỷ ban Trung ương phải có cách cư xử đúng đắn, không tham nhũng và có trách nhiệm với đời sống đất nước. Sau đó Andropov đưa cho Volsky một cặp file với bản nháp cuối cùng và nói, "Bài diễn văn được rồi. Hãy chắc chắn rằng ông sẽ chú ý tới chương trình tôi đa viết".Bởi bác sĩ đã đưa ông ra xe, ông không có thời gian xem lại những gì mình đã viết.Sau đó, ông có một cơ hội để đọc nó và thấy rằng ở dưới trang cuối Andropov đã dùng mực thêm vào, bằng dòng chữ không ngay ngắn, một đoạn mới. Nó như sau: "Các thành viên của Uỷ ban Trung ương biết rằng vì một số lý do, tôi không thể tới phiên họp toàn thể. Tôi cũng không thể dự các phiên họp của Bộ chính trị hay ban thư ký. Vì thế, tôi tin rằng Mikhail Sergeyevich Gorbachev cần phải được trao trách nhiệm chủ tịch những cuộc họp của Bộ chính trị và ban thư ký (của Uỷ ban Trung ương)." Andropov đề xuất Gorbachev làm người thay thế mình. Volsky làm một bản photocopy tài liệu và đặt nó trong tủ an toàn của ông. Ông trao bản gốc cho ban lãnh đạo Đảng và được đảm bảo rằng nó sẽ được đọc tại phiên họp toàn thể. Nhưng tại cuộc họp cả Konstantin Chernenko, Viktor Grishin, Nikolai Tikhonov, Dmitriy Ustinov hay bất kỳ thành viên nào khác trong bộ chính trị đều không chú ý tới những ý định của Andropov. Volsky nghĩ rằng đã có một số sai sót gì đó: "Tôi tới chỗ Chernenko và nói, 'Có một đoạn thêm vào trong văn bản.' Ông nói, 'Đừng nghĩ gì về bất cứ sự thêm thắt nào.' Sau đó tôi thấy trợ lý của ông ta Bogolyubov và nói, 'Klavdy Mikhailovich, có một đoạn trong bài phát biểu của Andropov….' Ông ta giữ tôi bên cạnh và nói, 'Anh nghĩ anh là ai, một người khôn ngoan? Anh có nghĩ cuộc đời anh sẽ kết thúc với nó không?' Tôi nói, 'Trong trường hợp đó, tôi sẽ gọi điện cho Andropov.' Ông ta trả lời, 'Nếu thế đó sẽ là cuộc gọi cuối cùng của anh'". Andropov rất tức giận khi ông biết điều xảy ra tại phiên họp toàn thể, nhưng ông không thể làm gì nhiều.[15][16]

Trong hồi ký của mình, Mikhail Gorbachev nhớ lại rằng khi Andropov là người lãnh đạo, ông và Nikolai Ryzhkov, chủ tịch Gosplan, đã yêu cầu Andropov được biết về các con số ngân sách thực. "Các vị hỏi quá nhiều đấy," ông trả lời. "Ngân sách không phải phần việc của các anh."